La nascita del Santuario della Madonna della Carraia avvenne intorno al 1659, in seguito ad un evento miracoloso. La storia racconta di un gruppo di contadini impegnati in una partita di bocce nei pressi di una Maestà, dipinta tra il XVI e il XVII secolo. Uno dei contadini, evidentemente sfortunato al gioco o incapace, preso dalla rabbia, iniziò a bestemmiare di fronte alla Madonna. E disse: "Se anche questa volta il tiro della boccia non va bene, la prossima la tiro contro di te!". Il tirò andò male e, il contadino, come promesso, scagliò la boccia verso la Madonna, la quale venne colpita nel ciglio destro dell'occhio, dalla cui ferita sgorgarono lacrime di sangue. Tale evento, portò alla conseguente venerazione dell'edificio: il 23 agosto 1660, infatti, sopra alla lapide benedetta da Monsignor Lucarini Reginaldo da Trevi, vescovo di Città della Pieve, si ordinò la costruzione del Santuario. Fu seguito il progetto dell'architetto Guidobaldo Vignaroli, il quale si ispirò alle linee architettoniche del Bramante, e prevedeva una pianta a croce greca con pilastri in mattone e timpani in pietra serena, e con una cupula (costruita nel 1856 dall'architetto Giovanni Caproni da Fontignano) e un campanile a ventaglio costruito nel 1690. L'anno seguente, nel 1661, con una solenne cerimonia, l'intero edificio venne consacrato al culto. Tra il 1686 e il 1687, grazie a cospicue offerte, risale invece la costruzione della casa del cappellano, che includeva anche un grande appartamento riservato - fino alla seconda metà del XIX secolo - al vescovo diocesano, in occasione delle sue visite alla vicina parrocchia di Panicarola, e oggi adibito a salone per feste private.